• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    在此敘述一種用以修正深度圖影像中之有缺陷的深度值之方法。有缺陷的值係相當於位於連續平坦表面之「雜訊像素」及位於一前景物體和一背景物體之間的一邊緣之經插值的「飛行像素」。該方法包含之步驟為：取得包含前景物體和背景物體之一場景之一深度圖；使用一方法來偵測和識別在該深度圖內之雜訊和經插值的深度測量結果；使用一清楚界定加權修正因子來對於經偵測有缺陷的雜訊和經插值的深度測量結果之每者界定和施加一修正。藉由在深度圖影像中提供經修正之有缺陷的深度值，邊緣於深度方向被銳化且連續表面被平坦化，對進一步之影像處理可達到較高的效率和穩健度。
    公开号:TW201308252A
    申请号:TW101122621
    申请日:2012-06-25
    公开日:2013-02-16
    发明作者:Laurent Guigues；Michel Samuel；Julien Thollot
    申请人:Softkinetic Software；
    IPC主号:G01S17-00
    专利说明:
    深度測量之品質提升
    本發明係關於一種測距測量結果如深度圖或包含「三維點雲(three-dimensional point cloud)」資料資訊之影像的品質之提升，特別是關於深度測量結果之去雜訊以及與數個像素相關之有問題的經插值的深度值之修正，該等像素係與三維影像場景中一前景物體和一背景物體之間的一邊緣對應者。
    由於使用於消費性電子系統和電視遊戲中之手勢辨識和人體骨架追蹤之技術，深度測量相機系統變成近來愈來愈受歡迎的測距裝置。
    主要有兩種環境照明獨立深度感測或三維(3D)相機技術適合於此等應用。一種三維相機技術係結構光源3D相機(例如由PrimeSense公司所提供者)，其於微軟Kinect for Xbox 360(被稱為Kinect)遊戲機中被用於手勢辨識。(Microsoft,Kinet和Kinect for Xbox 360為微軟公司的商標)。第二種3D感測相機技術係時差測距(time-of-flight,ToF)相機，其係由幾個獨立公司所發展製造且使用於例如汽車工業或是包含諸如視訊遊戲、機器人、家用自動化等人對機器介面之各種環境中的手勢辨識和人體骨架追蹤。
    然而，不分3D感測相機之型式，一場景之一影像皆假設包含複數個像素，該影像的每個像素含有至少與從成像物體到相機之距離有關的資訊，如此之資訊係所測量之深度值。此嵌有至少深度測量資訊之影像被稱為「深度圖」。其它型式的影像亦可包含嵌入的深度測量資訊，例如一「三維點雲」資料矩陣，於此資料矩陣中影像係包含了關於相機坐標系統或關於虛擬環境坐標系統之內嵌資訊。在如此之影像中，x和y係分別對應於横軸和縱軸且z軸係對應於深度。從相機坐標系統轉換到虛擬環境坐標系統係一種投射，且如此的轉換一般被稱為「場景校正(scene calibration)」。
    任何利用提供深度測量結果之影像之應用或系統乃取決於解析度、雜訊、清楚度、穩健度和重覆性等方面之測量品質。特別地，當主要考慮到3D ToF相機技術，在場景物體邊緣之深度測量結果係眾所皆知用來表明旋積(convolution)和/或亦稱作「飛行像素」(對單一自然銳利邊緣可影響至少一像素半徑內之深度資料)之插值假影(interpolation artefacts)。如此的「飛行像素」係空間假影，與任何可能發生在一物體邊緣的動態模糊(motion blur)無關，且需要被移除和/或被回復至場景中之與一重新計算之深度值對應的一正確位置，該重新計算之深度值係適當地將「飛行像素」指定給前景物體或背景物體。如此之回復之目的係為了要大幅地改善後續的物體偵測信心和提高三維場景內物體之深度資訊品質。
    因此本發明之目的係要提供一種提升測距測量結果的品質之方法和系統，例如，藉由偵測可能為雜訊像素數值和/或經插值之「飛行像素」數值之型式之有缺陷的像素，以深度圖或三維點雲的型式來提供該測量結果。特別地，雜訊像素數值係與整個深度圖有關。然而，雜訊像素數值傾向於降低平坦表面和連續表面的品質。「飛行像素」數值係與呈現於深度圖中或於相應3D點需中之3D物體邊緣有關，這些邊緣被界定成位於一前景物體和一位於不同深度的背景物體之間的界限。
    根據本發明之一觀點，提供一種提升三維影像中之有缺陷的像素值之深度圖品質之方法，該方法包含以下步驟：a)決定與一場景相關之深度測量資料；b)偵測在該深度測量資料內之有缺陷的像素；c)針對每一被偵測到之有缺陷的像素，界定一深度修正；以及d)對每一被偵測到之有缺陷的像素之該深度測量資料施加該深度修正。
    藉由使用本發明之方法，當深度測量雜訊可被明確地降低時，即可獲得深度圖或3D點雲影像品質之重大提升。特別地，包含在位於物體邊緣之經插值之「飛行像素」內之資訊係被回復且這些邊緣接著因此被銳化，使得它們能相關連且有助於進一步的訊號處理方法。
    此外，本發明之結果是使用者和物體之偵測、識別、追蹤和諸如在三維場景內執行於興趣物件上之手勢辨識之運動相關資料分析係被大幅地改善，因為如此之方法係取決於深度圖深度資料值之品質。另一結果是，相關於一場景內之使用者形狀和物體形狀之影像取出係可更簡單地且具有較佳可靠度及清楚度地被執行。
    另外，改善的物體偵測亦提供在3D場景中之使用者和物體顯著提升的建模能力。特別地，人體骨架配合和追蹤亦大幅地改善，因為使用者身體部位和物體或和其本身之合併會被最小化而且使用者的身體形狀能更清楚地被建模。
    在本發明之一較佳實施例中，步驟b)包含：針對每一像素，決定並使用在至少一方向上之深度相關方向導數(depth related directional derivative)。
    步驟c)對於每一經識別出有缺陷的像素較佳地包含以下步驟：c1)決定與該深度方向導數相關之一向量；c2)決定該已決定之向量之法向量；c3)使用該已決定之向量和該已決定之向量的法向量中之至少一個之結果連同一資料參數，決定一加權因子參數，該資料參數之數值係與由該像素寬度所呈現之實體空間中之公制尺寸相關；以及c4)使用該加權因子參數和與相鄰像素相關資訊中之至少一者，決定一修正因子。
    於一實施例中，步驟c4)可進一步包含使用在該相鄰像素之深度值、加權值和修正因子中之至少一者。另一作法或具選擇性地，步驟c4)可包含使用該相鄰像素相關資訊之一統計眾數。
    有利地，步驟c4)僅使用有效相鄰像素。
    步驟c4)可進一步包含使用從該相鄰像素所決定之一回歸平面取出之深度資訊。
    於本發明之一個實施例中，有缺陷的像素可包含位於該三維影像中一前景物體和一背景物體之間的邊緣上的經插值之像素資料值。在此實施例中，步驟b)可進一步包含當一像素之至少一深度方向導數係大於一預定門檻值且若至少兩連續方向導數具有相同正負符號時，使用該等深度相關方向導數以識別在邊緣上的像素之有缺陷的深度測量結果。如此提供了一個上述「飛行像素」的測試方法。
    除了「飛行像素」的修正之外，本發明之方法亦修正了「雜訊像素」。於此實施例中，步驟b)包含決定在該三維影像內之連續表面上之像素有缺陷的測量結果。
    於此實施例中，步驟b)進一步包含當一像素之至少一深度方向導數係大於一預定門檻值且當該像素之另一深度方向導數亦大於另一預定門檻值且該兩方向導數係具相反正負符號時，使用該等深度相關方向導數以識別在一連續表面上之像素之有缺陷的深度測量結果。
    當有缺陷的像素為「雜訊像素」時，步驟c)對於每一已識別有缺陷的像素可進一步包含此驟：c5)使用兩正交軸決定與該等深度方向導數資料值相關之一向量；c6)使用該已決定之向量之一半徑值、該已決定之向量之正交資訊和由該像素所呈現在場景中之實際寬度中之至少一者，決定一加權因子參數；以及c7)使用該已決定之加權因子參數結合相鄰像素相關資訊，施加一修正因子。
    於一實施例中，該等深度相關方向導數係使用至少兩正交軸而決定。於另一實施例中，該等深度相關方向導數係使用一法線圖(normal map)而決定。於另一較佳實施例中，該等深度相關方向導數係用以決定一法線圖。
    於本發明之一個實施例中，該方法係用以修正「飛行像素」和「雜訊像素」中至少一者，且在一較佳實施例中，該方法係修正「飛行像素」和「雜訊像素」兩者。
    步驟a)可包含存取藉由一3D感測元件或相機所提供或者來自一儲存媒體以一深度圖型式或以一3D點雲型式或任何型式所提供之深度測量資料。
    為對本發明有更佳之了解，以下說明將參考所附圖式進行，且參考圖式僅作為舉例，並非限定如此。
    以下就特定實施例並參考特定圖式來敍述本發明，但本發明並不限定如此。所述圖式僅係示意而並不限定。圖式中，為了說明，可能誇大且未按比例顯示部分元素之尺寸。
    應了解本文中所使用之用語「垂直」和「水平」等表示圖面之特有方位，且此等用語並非是本文中所敍述之特定實施例的限定用語。
    就一典型的時差測距(time-of-flight,ToF)3D相機而言，利用TOF原理計算距離或深度資料之過程涉及具有類比和數位處理單元之光學和電子裝置之組合。典型地，藉由一內嵌於ToF相機裝置之照明系統將一調幅紅外線訊號送出至場景。一專用感測器同步地將由該場景中之物體所反射的紅外線強度記錄為一相位函數。接著將來自感測器之訊號對時間積分，並利用相位延遲計算來針對每一像素估算深度值測量結果。ToF 3D影像可能受限於：依感測器解析度和鏡頭視域而定之3D影像解析度；該等影像之依光之調變頻率、由場景反射之光線量和與成像系統有關之參數如光學引擎品質而定之深度測量精準度；；在測量時基本上會產生一些量子化假影(quantisation artefacts)和雜訊之光學、電子及訊號處理裝置之組合假影；以及更嚴重的問題是，部分經插值的深度測量結果基本上會導致深度圖中之「模糊」邊緣。該等「模糊」邊緣中的像素亦被稱作「飛行像素」。
    本發明係關於一種方法及系統，用以解決統稱「有缺陷的像素」之「雜訊」和「飛行像素」，以使其等之在深度圖中的深度測量值被修正而盡可能地與在場景中所呈現的實體一致。該方法和系統具有一輸入操作，輸入藉由3D感測相機、媒體儲存元件或網際網路媒體所提供之內嵌有以相位圖、深度圖或3D點雲型式表示之深度相關測量結果的影像。對於經輸入之3D影像的深度資料施加特定信號處理，以就部分特定的深度梯度測量結果、向量及幾何限制運算、門檻值及尤其是經加權之旋積來對於「雜訊」和經插值的「飛行像素」兩者進行修正。所產生的輸出提供了一重建的深度圖影像，該影像包含較少的雜訊及大幅減少之在邊緣位於z軸或深度軸上之場景物體附近之經插值的「飛行像素」。接著代替3D相機元件或其他3D影像系統所提供之原始輸入3D影像而使已提升和/或已修正之影像供3D成像應用使用，以使該等應用可有較佳操作性和效率。
    首先參考第1圖，一場景之二維(2D)上視圖顯示於一x-z平面中。一相機10具有由虛線12,14所界定的視域，在該視域內有一前景物體16和一背景物體18。將如參考第3圖所述，前景物體16之邊緣20就背景物體18而言可能產生「飛行像素」。
    第2圖係在x-y平面上之第1圖中所界定之具有前景物體16和背景物體18之3D場景之2D相機前視圖。於此觀點下，邊緣20在前景物體16和背景物體18之間係界定良好且銳利。雖然僅有顯示邊緣20，但應理解為「飛行像素」亦可發生在前景物體16與背景物體18重疊處之頂端邊緣和底部邊緣22,24。此外，應了解到物體16和18之平坦連續表面可能會因相機感測器性能之故而呈現一些雜訊像素。
    第3圖係以與第1圖中所示之影像對應的像素之角度來顯示前景物體32和背景物體34。如圖所示，兩「飛行像素」36,38係位於在前景物體32和背景物體34之間的邊緣上。此兩「飛行像素」可屬於前景物體32或者屬於背景物體34，或者僅有一個屬於前景物體32且一個屬於背景物體34。前景物體32係一連續平坦表面物體，其測量結果顯示至少有一個雜訊像素37。
    第4圖類似第3圖，但另顯示一與深度圖相關之訊號40。如圖所示，於訊號40中，下方線係相應於數個像素42所表示的前景物體，且在下方線和上方線之間的斜率係相應於兩「飛行像素」46,48。在下方線中之一凹陷部係相應於由數個像素42所表示之前景物體中之「雜訊像素」43。
    在依本發明之處理後，「雜訊像素」43和「飛行像素」46,48被修正如第5圖所示。如第5圖所示，更清楚地界定具有一相應於數個像素52之下方直線和一相應於數個像素54之上方直線的訊號50。在第4圖中顯示為43之「雜訊像素」現在被修正為如像素53所示，且「飛行像素」46,48已被正確地指定給與前景物體對應之數個像素52(像素56)和與背景物體對應之數個像素54(像素58)。
    在第6圖中顯示本發明方法之一實施例之主要步驟流程圖。於步驟60，獲取一輸入深度圖或3D點雲。該深度圖或3D點雲可直接從3D相機、媒體儲存元件或網際網路取得。於步驟62，偵測出統稱為「有缺陷的像素」之「雜訊像素」和「飛行像素」。針對每一被判定為「雜訊像素」之像素決定一去雜訊修正因子，並對於相鄰像素而施加該修正因子，步驟64。針對每一被判定為「有缺陷的像素」之像素執行一修正因子之決定並施加。於步驟66中，就前景物體和背景物體之深度值而執行修正。於步驟64和步驟66中，如此之修正因子的決定可包含：使用統計眾數，於此處指定給被修正像素之數值係根據相鄰像素之平均值、中間值和/或眾數值中之至少一者而決定。經復原之深度圖或3D點雲接著被輸出(步驟68)。步驟68之輸出可被使用在任何需要或優先選擇清楚及可靠的深度圖之應用中。
    本發明之方法包含兩個主要步驟，亦即偵測「雜訊像素」和經插值的「飛行像素」，以及修正經偵測之「雜訊像素」和「飛行像素」兩者。
    關於「雜訊像素」和經插值之「飛行像素」兩者之偵測，第一步驟係使用某一點附近的方向導數來判斷像素是否是「雜訊」或是「飛行」，該點係對應於被評估的像素。較佳地，所有的深度影像像素均被評估。這些方向導數可以是多方向的，但為簡化敍述，以下僅敍述垂直和水平方向。然而應理解為同樣的原則可適用於其他方向。此外，亦可不使用方向導數而應用其他的方法。
    若「P」是在深度圖中被評估的像素且「a」是平面上被選定的方向，則da(P)是像素「P」在方向「a」的導數值。若在「a」方向上之方向導數絕對值|da(P)|和|da+π(P)|超過一預定門檻值，且若da(P)和da+π(P)的正負符號相同，則一像素被稱為「飛行」。若一像素具有與其所有相鄰像素相當不同的深度值，尤其是如果至少一個方向導數超過一預定值且如果至少兩個方向導數具有相反正負符號，則該像素被稱為「雜訊」。對每一像素，不管「雜訊像素」測試或是「飛行像素」測試均可在任一數目的方向上被執行。理想上，方向應涵蓋單位圓，亦即半徑為一像素半徑之圓。典型地，一組方向{a_i}，i=1至n，能以下式表示：a_i=(i-1)＊π/n
    方向導數可以簡單地使用有限差分來評估。第7圖中，像素70係被評估的像素「P」，像素72,74,76,78係對應於像素「P」之上方像素「T」、左方像素「L」、右方像素「R」和下方像素「B」。像素72,74,76,78之數值可被使用來決定該像素在兩個方向上是否是「飛行」且是否是「雜訊」，亦即在0°角和π/2角之方向(水平和垂直方向)。
    在這兩個方向上，「雜訊像素」測試簡化成(|R-P|<Th且|L-P|<Th)或(|T-P|<Th且|B-P|<Th)且sign(R-P)≠sign(P-L)或sign(T-P)≠sign(P-B)
    「飛行像素」測試簡化成(|R-P|>kTh且|L-P|>kTh)或(|T-P|>kTh且|B-P|>kTh)且sign(R-P)=sign(P-L)或sign(T-P)=sign(P-B)其中Th係所應用之門檻值且k係一預定加權因子。例如，0.08m之Th值可被使用，但可被理解的是任何其他合適值亦可被使用。作為上述給定之「雜訊像素」測試及「飛行像素」測試之另一種測試法，以下判斷方式亦可被使用：|L-R|>Th且|T-B|>Th
    在後者中，其門檻值之數值可以大於前者之門檻值數值係因為它使用環繞被評估像素之兩像素之間的數值。
    「雜訊像素」和「飛行像素」被識別後，第二步驟係估算新的深度值以將個別修正施加至每個經識別之「雜訊像素」或「飛行像素」。修正可在一單一程序中之單通(single pass)中被執行。為有較佳之了解，依時間順序而敍述修正步驟。
    所有的「飛行像素」和「雜訊像素」首先被標示成無效。特別地，當使用ToF相機時，可能因其他理由如信任不足或低紅外線照明而被判定(亦即使用門檻值)為不可靠的其他像素亦可被標示成無效，且其等之深度亦可使用本發明之方法被重新估算。
    原理是使用一無效像素之有效環繞像素來估算該無效像素之新的深度。此原理顯示於第8圖，其中與顯示如像素對82,84之環繞有效像素相關地評估像素80。雖然該等像素對係顯示用來評估，但應理解為任何數目之有效像素均可使用來做此決定。
    第8圖中，環繞一無效「飛行像素」(「P」)之數個像素被標示為「V」。然而，對此估算而言，僅有被標示成82之前景有效像素或者被標示成84之背景有效像素被使用，且不是來自前景及背景之有效像素之組合被使用。像素82之深度值將小於「P」的深度值且像素84之深度值將大於「P」的深度值。
    關於像素係有效但已被識別為「雜訊」之一「雜訊像素」，對於該「雜訊像素」執行與上述執行於「飛行像素」之處理相同的處理。
    選擇使用哪個有效像素來估算係評估一無效點優先出現在前景物體中或優先出現在背景物體中。優先模式可以藉由例如根據「飛行像素」之深度值所需最少修正量，映射「飛行像素」、藉由設定「飛行像素」給前景物體，如果它和相機之距離超過一預定門檻值，或者藉由設定「飛行像素」給背景物體，如果它和相機之距離小於該預定門檻值，來決定。如果使用前景物體優先，且有效前景物體像素集合不是空集合，則「P」之新深度值將僅以那些有效前景物體像素為基礎而估算。如果有效前景物體像素集合是空集合且有效背景物體像素集合不是空集合，則「P」之新深度值將僅以有效背景物體像素為基礎而估算。如果兩個與有效前景和背景物體像素相關之集合均是空集合，則該像素無法被修正且它將保持為無效。同樣地，如果使用背景物體優先，如果有效背景物體像素集合不是空集合，則「P」之新深度值將僅以那些有效背景物體像素為基礎而估算。如果有效背景物體像素集合是空集合，且有效前景物體像素集是空集合，則「P」之新深度值將僅以有效前景物體像素集合為基礎而估算。如果兩個與有效背景和前景物體像素相關之集合均是空集合，則該像素無法被修正且它將保持為無效。
    來自一環繞像素集合(不管來自於前景物體或背景物體)之「P」的深度值估算可用不同方法執行，包括應用一加權因子、任何使用統計測定或使用回歸平面之插值法。
    在本發明之一實施例中，係利用以有效前景像素為基礎之一回歸平面。在點p之回歸平面之深度值係被指定為像素「P」之新深度值。
    於另一實施例中，前景物體中之有效像素之平均深度值係被決定且被指定為像素「P」之新深度值。作為其他選項，亦可使用有效前景物體像素或有效背景物體像素之諸深度值中之最小值、最大值、中位數或眾數。不同的估算方法可使用於有效前景物體像素集合和有效背景物體像素集合。例如，如果估算係依靠有效前景物體像素，則可使用集合中之有效像素之最大深度值；如果估算係依靠有效背景物體像素，則可使用集合中之有效像素之最小深度值。
    所有其深度值已被該方法成功地估算過之無效像素，亦即所有具有至少一有效相鄰像素之無效像素，係被標示為有效。只要至少一像素在流程一開始被標示為有效，則該方法可以疊代地被重覆以允許深度圖中所有無效像素被重建。
    然而，為了改善「飛行像素」識別和修正之可靠度，必須將雜訊從相機所產生的深度圖中移除。這可藉由首先決定每一像素之ω i ，再對每一像素使用3x3加權之ω i 核心來達成。多通(multiple passes)可與(或不與)核心ω i 參數之再計算一起應用。
    再次參考第8圖，以下方程式可用自景深中決定一正交角：
    dw=P之寬度 (4)
    ω i =acos(dz/r) (6)
    方程式(1)和(2)與梯度(x)和(y)有關且方程式(3)以梯度方式提供半徑。方程式(4)給出像素「P」之如上所述之寬度且方程式(5)和(6)分別提供正交半徑和正交角。
    其他方法可用於計算、估算或取回例如來自相機之正交角(如果有的話)，亦可依照相機、訊號和平台特性而被使用。
    例如，為了計算效率，來自深度圖之ω i 可以被決定成：
    通當，函數ωi=Fw(dz)被稱為視窗函數(window function)。
    在雜訊移除通過之後，一場梯度被計算且二階導數d2z之符號被作為一局部分離參數(local disjunction parameter)。二階偏導數d2z被計算成導數dz在映射空間中梯度向量之兩極值間之差值。
    一加權ω i 3×3雙極核心(bipolar kernel)接著被應用在n個傳遞，其中n大於等於1。該分離參數作為核心中之群識別(group identification)；且具有相同正負符號之諸像素值將一起平均，但忽略相反正負符號之像素。
    此原則係被改善以允許該分離參數具有無符號數值(亦即等於0)，使得該等點可以用兩種符號被平均。此攺善允許應用一門檻值至該分離參數，例如，使用 2z或其他諸如紅外線功率來試圖降低因為分離而引入輸出訊號之雜訊。
    此核心可多次應用以產生想要的效果。典型地電流TOF訊號係受益於雙通處理(two-pass processing)。
    為了加速此分離且/或避免多通處理，可在梯度方向上建立一位移貼圖(displacement map)以產生一局部擴展(local expansion)。個別深度值可合理地作為最小值和/或最大值。然而，輸出訊號中的雜訊和所欲之分離速率將判斷使用何種擴展方法。
    10‧‧‧相機
    12,14‧‧‧虛線
    16‧‧‧前景物體
    18‧‧‧背景物體
    20‧‧‧邊緣
    22‧‧‧頂端邊緣
    24‧‧‧底部邊緣
    32‧‧‧前景物體
    34‧‧‧背景物體
    36,38‧‧‧飛行像素
    37‧‧‧雜訊像素
    40‧‧‧訊號
    42,44‧‧‧數個像素
    43‧‧‧雜訊像素
    46,48‧‧‧飛行像素
    50‧‧‧訊號
    52,54‧‧‧數個像素
    53,56,58,70,72,74,76,78,80‧‧‧像素
    82,84‧‧‧數個像素
    第1圖係圖示三維場景之二維上視示意圖；第2圖係圖示第1圖中之三維場景之二維相機前視示意圖；第3圖係圖示第1圖之二維上視圖之三維資料測量之示意表示圖；第4圖係圖示深度值訊號和像素位置之示意表示圖；第5圖係類似第4圖但係圖示根據本發明修正後之深度值訊號和像素位置；第6圖係圖示根據本發明之深度圖去雜訊和邊緣修正方法之步驟流程圖；第7圖係圖示一位於一「飛行像素」中央之3×3核心，該「飛行像素」係伴隨著在兩正交軸中之相鄰像素；以及第8圖係圖示一位於一「飛行像素」中央之3×3核心，該「飛行像素」係伴隨著被決定為有效且成為一前景物體或一背景物體之一部分之相鄰像素。
    50‧‧‧訊號
    52‧‧‧數個像素
    53‧‧‧像素
    54‧‧‧數個像素
    56‧‧‧像素
    58‧‧‧像素
    权利要求:
    Claims (15)
    [1] 一種提升於三維影像中之有缺陷的像素深度資料值之深度圖品質之方法，該方法包含以下步驟：a)決定與一場景相關之深度測量資料；b)偵測在該深度測量資料內之有缺陷的像素；c)針對每一被偵測到之有缺陷的像素，界定一深度修正；以及d)對每一被偵測到之有缺陷的像素之該深度測量資料施加該深度修正。
    [2] 如申請專利範圍第1項之方法，其中步驟b)包含：針對每一像素，決定並使用在至少一方向上之深度相關方向導數。
    [3] 如申請專利範圍第2項之方法，其中步驟c)對於每一經識別出有缺陷的像素包含以下步驟：c1)決定與該等深度方向導數相關之一向量；c2)決定該已決定之向量之法向量；c3)使用該已決定之向量和該已決定之向量的法向量中之至少一個之結果連同一資料參數，決定一加權因子參數，該資料參數之數值係與由該像素寬度所呈現之實體空間中之公制尺寸相關；以及c4)使用該加權因子參數和與相鄰像素相關資訊中之至少一者，決定一修正因子。
    [4] 如申請專利範圍第3項之方法，其中步驟c4)僅使用有效相鄰像素之資料值。
    [5] 如申請專利範圍第3項或第4項之方法，其中步驟c4)進一步包含使用在該相鄰像素之深度值、加權值和修正因子中之至少一者。
    [6] 如申請專利範圍第3項至第5項之任一項之方法，其中步驟c4)包含使用該相鄰像素相關資訊之一統計眾數。
    [7] 如申請專利範圍第3項至第6項之任一項之方法，其中步驟c4)進一步包含使用從該相鄰像素所決定之一回歸平面取出之深度資訊。
    [8] 如申請專利範圍第3項至第7項之任一項之方法，其中該有缺陷的像素係包含位於該三維影像中一前景物體和一背景物體之間的邊緣上的插值像素資料值。
    [9] 如申請專利範圍第8項之方法，其中步驟b)進一步包含當一像素之至少一深度方向導數係大於一預定門檻值且若至少兩連續方向導數具有相同正負符號時，使用該等深度相關方向導數以識別在邊緣上的像素之有缺陷的深度測量值。
    [10] 如申請專利範圍第3項至第7項之任一項之方法，其中該有缺陷的像素係包含位在該三維影像之連續表面之雜訊像素資料值。
    [11] 如申請專利範圍第10項之方法，其中步驟b)進一步包含當一像素之至少一深度方向導數係大於另一預定門檻值且當該像素之另一深度方向導數亦大於另一預定門檻值且該兩方向導數係具相反正負符號時，使用該等深度相關方向導數以識別在一連續表面上之像素之有缺陷的深度測量值。
    [12] 如申請專利範圍第11項之方法，其中對於每一已識別有缺陷的像素，步驟c)進一步包含：c5)使用兩正交軸決定與該等深度方向導數資料值相關之一向量；c6)使用該已決定之向量之一半徑值、該已決定之向量之正交資訊和由該像素所呈現在場景中之實際寬度中之至少一者，決定一加權因子參數；以及c7)使用該已決定之加權因子參數結合相鄰像素相關資訊，施加一修正因子。
    [13] 如申請專利範圍第2項至第12項之任一項之方法，其中該等深度相關方向導數係使用至少兩正交軸而決定。
    [14] 如申請專利範圍第2項至第12項之任一項之方法，其中該等深度相關方向導數係使用一法線圖而決定。
    [15] 如申請專利範圍第2項至第13項之任一項之方法，其中該等深度相關方向導數係用以決定一法線圖。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI536318B|2016-06-01|深度測量之品質提升
    EP2848003B1|2018-11-14|Method and apparatus for acquiring geometry of specular object based on depth sensor
    US9519968B2|2016-12-13|Calibrating visual sensors using homography operators
    US8139142B2|2012-03-20|Video manipulation of red, green, blue, distance | data including segmentation, up-sampling, and background substitution techniques
    EP2531980B1|2015-08-05|Depth camera compatibility
    JP6351238B2|2018-07-04|画像処理装置、撮像装置および距離補正方法
    EP2531979B1|2016-04-06|Depth camera compatibility
    US11050994B2|2021-06-29|Virtual reality parallax correction
    KR100953076B1|2010-04-13|객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
    US10643347B2|2020-05-05|Device for measuring position and orientation of imaging apparatus and method therefor
    JP2020515931A|2020-05-28|シーンのセグメンテーションと３ｄ再構築を組み合わせるための方法及び装置
    EP3633606A1|2020-04-08|Information processing device, information processing method, and program
    KR102337931B1|2021-12-13|동적 가림 핸들링을 위한 시스템들 및 방법들
    JP2006285952A|2006-10-19|画像処理方法、画像処理装置、プログラムおよび記録媒体
    JP2021535466A|2021-12-16|シーンの色及び深度の情報を再構成するための方法及びシステム
    CN110009683B|2021-03-30|基于MaskRCNN的实时平面上物体检测方法
    JPWO2019244944A1|2021-07-08|三次元再構成方法および三次元再構成装置
    An et al.2018|Tracking an RGB-D camera on mobile devices using an improved frame-to-frame pose estimation method
    JP2015033047A|2015-02-16|複数カメラを用いた奥行き推定装置
    KR20210142518A|2021-11-25|동적 물체 탐지 방법 및 장치
    TW202034213A|2020-09-16|適用於疊代最近點法的可察覺移動的關鍵點選擇系統
    US20200320727A1|2020-10-08|Method and apparatus for generating a three-dimensional model
    JP2018036884A|2018-03-08|光源推定装置及びプログラム
    Agrawal et al.2005|Ego-motion estimation and 3d model refinement in scenes with varying illumination
    同族专利:
    公开号 | 公开日
    KR101554241B1|2015-09-18|
    EP2538242A1|2012-12-26|
    CN103814306B|2016-07-06|
    JP6143747B2|2017-06-07|
    TWI536318B|2016-06-01|
    EP2538242B1|2014-07-02|
    WO2012175731A1|2012-12-27|
    JP2016201117A|2016-12-01|
    CN103814306A|2014-05-21|
    US20140253679A1|2014-09-11|
    US9426444B2|2016-08-23|
    JP2014524016A|2014-09-18|
    JP6244407B2|2017-12-06|
    KR20140027468A|2014-03-06|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    CN104378619A|2014-11-12|2015-02-25|合肥工业大学|一种基于前后景梯度过渡的快速高效的空洞填补算法|
    TWI722638B|2019-07-04|2021-03-21|大陸商浙江商湯科技開發有限公司|一種點雲融合方法、電子設備和電腦儲存介質|JP2807137B2|1992-12-15|1998-10-08|松下電工株式会社|立体形状検出方法|
    JPH0934932A|1995-07-20|1997-02-07|Matsushita Electric Ind Co Ltd|３次元データの凹凸検出方法および凹凸検出装置|
    JPH09161072A|1995-12-13|1997-06-20|Tsushin Hoso Kiko|映像信号の構造情報を抽出する映像処理装置|
    US5751290A|1996-09-20|1998-05-12|Industrial Technology Research Institute|Three dimensional graphics system and method with correction to z buffer value errors|
    JPH10143659A|1996-11-06|1998-05-29|Komatsu Ltd|物体検出装置|
    JPH11120359A|1997-10-21|1999-04-30|Sony Corp|画像処理装置および方法、並びに伝送媒体|
    US6577307B1|1999-09-20|2003-06-10|Silicon Integrated Systems Corp.|Anti-aliasing for three-dimensional image without sorting polygons in depth order|
    JP2004297267A|2003-03-26|2004-10-21|Sharp Corp|画素欠陥処理装置|
    JP2006191454A|2005-01-07|2006-07-20|Sony Corp|ノイズ検出回路及び同回路を有する信号処理装置及び同装置を備えた撮像装置及びノイズ除去方法|
    CN101443817B|2006-03-22|2013-06-12|皮尔茨公司|用于确定场景的三维重建时的对应关系的方法和装置|
    JP2008243184A|2007-02-26|2008-10-09|Fujifilm Corp|濃淡画像の輪郭補正処理方法及びその装置|
    AU2007351713B2|2007-04-20|2011-11-17|Softkinetic Software|Volume recognition method and system|
    US8447096B2|2007-10-11|2013-05-21|Koninklijke Philips Electronics N.V.|Method and device for processing a depth-map|
    JP5448617B2|2008-08-19|2014-03-19|パナソニック株式会社|距離推定装置、距離推定方法、プログラム、集積回路およびカメラ|
    JP5567908B2|2009-06-24|2014-08-06|キヤノン株式会社|３次元計測装置、その計測方法及びプログラム|
    WO2011078264A1|2009-12-25|2011-06-30|本田技研工業株式会社|画像処理装置、画像処理方法、コンピュータプログラム及び移動体|
    KR20110135786A|2010-06-11|2011-12-19|삼성전자주식회사|깊이 전이 데이터를 이용한 3ｄ 비디오 인코딩／디코딩 장치 및 방법|
    JP5150698B2|2010-09-30|2013-02-20|株式会社東芝|デプス補正装置及び方法|
    US9123115B2|2010-11-23|2015-09-01|Qualcomm Incorporated|Depth estimation based on global motion and optical flow|US8908995B2|2009-01-12|2014-12-09|Intermec Ip Corp.|Semi-automatic dimensioning with imager on a portable device|
    US9779546B2|2012-05-04|2017-10-03|Intermec Ip Corp.|Volume dimensioning systems and methods|
    US10007858B2|2012-05-15|2018-06-26|Honeywell International Inc.|Terminals and methods for dimensioning objects|
    US10321127B2|2012-08-20|2019-06-11|Intermec Ip Corp.|Volume dimensioning system calibration systems and methods|
    US9939259B2|2012-10-04|2018-04-10|Hand Held Products, Inc.|Measuring object dimensions using mobile computer|
    US9841311B2|2012-10-16|2017-12-12|Hand Held Products, Inc.|Dimensioning system|
    EP2750391B1|2012-12-31|2017-03-22|Nokia Technologies Oy|Method, apparatus and computer program product for processing of images|
    EP2956910A2|2013-02-12|2015-12-23|Thomson Licensing|Method and device for enriching the content of a depth map|
    US9080856B2|2013-03-13|2015-07-14|Intermec Ip Corp.|Systems and methods for enhancing dimensioning, for example volume dimensioning|
    US9860510B2|2013-03-15|2018-01-02|Intuitive Surgical Operations, Inc.|Depth based modification of captured images|
    US9729860B2|2013-05-24|2017-08-08|Microsoft Technology Licensing, Llc|Indirect reflection suppression in depth imaging|
    US9584790B2|2013-06-03|2017-02-28|Microsoft Technology Licensing, Llc|Edge preserving depth filtering|
    US10228452B2|2013-06-07|2019-03-12|Hand Held Products, Inc.|Method of error correction for 3D imaging device|
    US9464885B2|2013-08-30|2016-10-11|Hand Held Products, Inc.|System and method for package dimensioning|
    CA2863709C|2013-09-17|2016-11-01|Motion Metrics International Corp.|Method and apparatus for performing a fragmentation assessment of a material|
    KR20150037366A|2013-09-30|2015-04-08|삼성전자주식회사|깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치|
    US9582887B2|2013-10-09|2017-02-28|Sony Corporation|Methods and apparatus for determining field of view dependent depth map correction values|
    CN103927782A|2014-01-06|2014-07-16|河南科技大学|一种用于深度图像曲面拟合的方法|
    US9418432B2|2014-03-28|2016-08-16|Sony Corporation|Imaging system with depth estimation mechanism and method of operation thereof|
    US9098754B1|2014-04-25|2015-08-04|Google Inc.|Methods and systems for object detection using laser point clouds|
    US9823059B2|2014-08-06|2017-11-21|Hand Held Products, Inc.|Dimensioning system with guided alignment|
    AU2014218390B2|2014-08-27|2017-01-12|Canon Kabushiki Kaisha|Method, system and apparatus for forming a high resolution depth map|
    US9779276B2|2014-10-10|2017-10-03|Hand Held Products, Inc.|Depth sensor based auto-focus system for an indicia scanner|
    US10775165B2|2014-10-10|2020-09-15|Hand Held Products, Inc.|Methods for improving the accuracy of dimensioning-system measurements|
    US10810715B2|2014-10-10|2020-10-20|Hand Held Products, Inc|System and method for picking validation|
    CN106664381A|2014-10-14|2017-05-10|奥林巴斯株式会社|摄像系统|
    US9557166B2|2014-10-21|2017-01-31|Hand Held Products, Inc.|Dimensioning system with multipath interference mitigation|
    US9752864B2|2014-10-21|2017-09-05|Hand Held Products, Inc.|Handheld dimensioning system with feedback|
    US9762793B2|2014-10-21|2017-09-12|Hand Held Products, Inc.|System and method for dimensioning|
    US9897434B2|2014-10-21|2018-02-20|Hand Held Products, Inc.|Handheld dimensioning system with measurement-conformance feedback|
    US10060729B2|2014-10-21|2018-08-28|Hand Held Products, Inc.|Handheld dimensioner with data-quality indication|
    CN104778673B|2015-04-23|2018-11-09|上海师范大学|一种改进的高斯混合模型深度图像增强方法|
    GB2541153A|2015-04-24|2017-02-15|Univ Oxford Innovation Ltd|Processing a series of images to identify at least a portion of an object|
    GB2537831A|2015-04-24|2016-11-02|Univ Oxford Innovation Ltd|Method of generating a 3D representation of an environment and related apparatus|
    US9786101B2|2015-05-19|2017-10-10|Hand Held Products, Inc.|Evaluating image values|
    US10066982B2|2015-06-16|2018-09-04|Hand Held Products, Inc.|Calibrating a volume dimensioner|
    US20160377414A1|2015-06-23|2016-12-29|Hand Held Products, Inc.|Optical pattern projector|
    US10677924B2|2015-06-23|2020-06-09|Mezmeriz, Inc.|Portable panoramic laser mapping and/or projection system|
    US9857167B2|2015-06-23|2018-01-02|Hand Held Products, Inc.|Dual-projector three-dimensional scanner|
    US9835486B2|2015-07-07|2017-12-05|Hand Held Products, Inc.|Mobile dimensioner apparatus for use in commerce|
    EP3118576B1|2015-07-15|2018-09-12|Hand Held Products, Inc.|Mobile dimensioning device with dynamic accuracy compatible with nist standard|
    US20170017301A1|2015-07-16|2017-01-19|Hand Held Products, Inc.|Adjusting dimensioning results using augmented reality|
    US10094650B2|2015-07-16|2018-10-09|Hand Held Products, Inc.|Dimensioning and imaging items|
    CN105374019B|2015-09-30|2018-06-19|华为技术有限公司|一种多深度图融合方法及装置|
    US10249030B2|2015-10-30|2019-04-02|Hand Held Products, Inc.|Image transformation for indicia reading|
    CN105445751B|2015-11-18|2018-09-07|国家海洋局第一海洋研究所|一种浅水区域水深比值遥感反演方法|
    US10225544B2|2015-11-19|2019-03-05|Hand Held Products, Inc.|High resolution dot pattern|
    US10025314B2|2016-01-27|2018-07-17|Hand Held Products, Inc.|Vehicle positioning and object avoidance|
    JP6583527B2|2016-02-22|2019-10-02|株式会社リコー|画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム|
    JP6431495B2|2016-03-25|2018-11-28|本田技研工業株式会社|教師データ生成方法|
    CN108885265A|2016-03-31|2018-11-23|富士胶片株式会社|距离图像处理装置、距离图像获取装置及距离图像处理方法|
    US10339352B2|2016-06-03|2019-07-02|Hand Held Products, Inc.|Wearable metrological apparatus|
    US9940721B2|2016-06-10|2018-04-10|Hand Held Products, Inc.|Scene change detection in a dimensioner|
    US10163216B2|2016-06-15|2018-12-25|Hand Held Products, Inc.|Automatic mode switching in a volume dimensioner|
    US10165168B2|2016-07-29|2018-12-25|Microsoft Technology Licensing, Llc|Model-based classification of ambiguous depth image data|
    KR20180032989A|2016-09-23|2018-04-02|삼성전자주식회사|ToF 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법|
    US10451714B2|2016-12-06|2019-10-22|Sony Corporation|Optical micromesh for computerized devices|
    US10536684B2|2016-12-07|2020-01-14|Sony Corporation|Color noise reduction in 3D depth map|
    US10909708B2|2016-12-09|2021-02-02|Hand Held Products, Inc.|Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements|
    US10178370B2|2016-12-19|2019-01-08|Sony Corporation|Using multiple cameras to stitch a consolidated 3D depth map|
    US10181089B2|2016-12-19|2019-01-15|Sony Corporation|Using pattern recognition to reduce noise in a 3D map|
    KR101865821B1|2016-12-30|2018-06-08|동의대학교 산학협력단|깊이 영상의 잡음 제거 방법 및 깊이 영상의 잡음 제거 장치 그리고 잡음 제거를 통한 부호화 방법과 부호화 장치|
    US10495735B2|2017-02-14|2019-12-03|Sony Corporation|Using micro mirrors to improve the field of view of a 3D depth map|
    US10795022B2|2017-03-02|2020-10-06|Sony Corporation|3D depth map|
    CN106981081A|2017-03-06|2017-07-25|电子科技大学|一种基于深度信息提取的墙面平整度检测方法|
    US11047672B2|2017-03-28|2021-06-29|Hand Held Products, Inc.|System for optically dimensioning|
    US10979687B2|2017-04-03|2021-04-13|Sony Corporation|Using super imposition to render a 3D depth map|
    CN108234858B|2017-05-19|2020-05-01|深圳市商汤科技有限公司|图像虚化处理方法、装置、存储介质及电子设备|
    US10733748B2|2017-07-24|2020-08-04|Hand Held Products, Inc.|Dual-pattern optical 3D dimensioning|
    EP3438699A1|2017-07-31|2019-02-06|Hexagon Technology Center GmbH|Distanzmesser mit spad-anordnung zur berücksichtigung von mehrfachzielen|
    WO2019047982A1|2017-09-11|2019-03-14|Oppo广东移动通信有限公司|图像处理方法、装置、电子装置和计算机可读存储介质|
    EP3462415A1|2017-09-29|2019-04-03|Thomson Licensing|Method and device for modifying attributes of points of a 3d scene|
    US10484667B2|2017-10-31|2019-11-19|Sony Corporation|Generating 3D depth map using parallax|
    WO2019162564A1|2018-02-22|2019-08-29|Nokia Technologies Oy|An apparatus, a method and a computer program for volumetric video|
    US10477220B1|2018-04-20|2019-11-12|Sony Corporation|Object segmentation in a sequence of color image frames based on adaptive foreground mask upsampling|
    US10584962B2|2018-05-01|2020-03-10|Hand Held Products, Inc|System and method for validating physical-item security|
    US10549186B2|2018-06-26|2020-02-04|Sony Interactive Entertainment Inc.|Multipoint SLAM capture|
    JP2020004266A|2018-06-29|2020-01-09|キヤノン株式会社|画像処理装置、画像処理方法、及びプログラム|
    JP2020010146A|2018-07-05|2020-01-16|キヤノン株式会社|画像処理装置、画像処理方法、及びプログラム|
    CN110956657A|2018-09-26|2020-04-03|Oppo广东移动通信有限公司|深度图像获取方法及装置、电子设备及可读存储介质|
    TWI687708B|2018-10-09|2020-03-11|大陸商光寶電子（廣州）有限公司|誤差校正系統及其方法|
    CN110400340A|2019-07-11|2019-11-01|Oppo广东移动通信有限公司|深度图处理方法和装置|
    JP2021051015A|2019-09-25|2021-04-01|ソニーセミコンダクタソリューションズ株式会社|測距装置、測距方法、並びにプログラム|
    CN111045030A|2019-12-18|2020-04-21|深圳奥比中光科技有限公司|一种深度测量装置和方法|
    US20210304491A1|2020-03-25|2021-09-30|Lyft, Inc.|Ground map generation|
    KR20220007330A|2020-07-10|2022-01-18|주식회사 메디트|데이터 잠금 시스템 및 데이터 잠금 방법|
    CN113313658B|2021-07-29|2021-11-30|南昌虚拟现实研究院股份有限公司|图像处理方法、装置、电子设备及存储介质|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    EP11171408||2011-06-24||
    [返回顶部]